本发明公开了一种多视点深度视频处理方法,其首先通过对深度视频进行重组变换操作,然后将变换操作后的深度视频在时域上进行平滑处理,再对平滑处理后的深度视频进行重组逆变换操作,得到预处理后的深度视频,对预处理后的多视点深度视频进行编码压缩、解码重建操作,再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理,最后利用处理后的多视点深度视频绘制虚拟视点视频图像,优点在于这种预处理方式能够提高深度视频序列的时域相关性,进而有效提高深度视频的编码效率,在编码QP=22、27、32、37的情况下,可以节省编码码率达到17.07%~38.29%,绘制得到的虚拟视点视频图像的绘制质量可提高约为0.05dB。
1.一种多视点深度视频处理方法,其特征在于它的处理过程为:对待处理的原始多视点深度视频进行预处理,以降低编码码率;然后对预处理后的多视点深度视频进行编码压缩、解码重建操作;再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理;最后利用处理后的多视点深度视频绘制虚拟视点视频图像;其中,对解码重建后的多视点深度视频进行深度恢复及空域平滑处理的具体过程为:1将解码重建后的多视点深度视频中当前正在处理的第k帧深度图像定义为当前深度图像,并记为D"(W,H,k),其中,1≤k≤K,在此K表示解码重建后的多视点深度视频中包含的深度图像的帧数,W表示解码重建后的多视点深度视频中的深度图像的水平分辨率,H表示解码重建后的多视点深度视频中的深度图像的竖直分辨率,W×H表示解码重建后的多视点深度视频中的深度图像的分辨率;2根据对应的原始多视点彩色视频中与当前深度图像D"(W,H,k)对应的彩色图像C(W,H,k)的边界掩膜M(W,H,k)中的每个像素点的像素值,对当前深度图像D"(W,H,k)中的像素点进行深度恢复处理,然后对当前深度图像D"(W,H,k)中经深度恢复后的每个像素点进行空域平滑处理,对于当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点,判断M(W,H,k)中坐标位置为(x,y)的像素点的像素值m(x,y,k)是否为1,即判断M(W,H,k)中坐标位置为(x,y)的像素点是否为边界像素点,如果是,则对当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点进行深度恢复处理,得到深度恢复后的像素值,记为d′′(x,y,k), d ′ ′ ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( d ′ ( a , b , k ) × C sum ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) C sum ( a , b , k ) , ]]>然后采用三边滤波对当前深度图像D"(W,H,k)中经深度恢复后的坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k), d * ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( ω ( a , b , k ) × d ′ ′ ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) ω ( a , b , k ) , ]]>否则,对当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点不进行深度恢复处理,即当前深度视频D"(W,H,k)中坐标位置为(x,y)的像素点经深度恢复处理后的像素值d′′(x,y,k)=d"(x,y,k),然后采用双边滤波对当前深度视频D"(W,H,k)中坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k), d * ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( ω 1 ( a , b , k ) × ω 2 ( a , b , k ) × d ′ ′ ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) ω 1 ( a , b , k ) × ω 2 ( a , b , k ) , ]]>其中,1≤x≤W,1≤y≤H,w(x,y)表示当前深度图像D"(W,H,k)中以坐标位置(x,y)为中心的邻域窗口,d"(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点的像素值,C_sum(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点在深度恢复时的权值,C_sum(a,b,k)=C₀(a,b,k)×(α×S_d(a,b,k)+(1-α)×S_c(a,b,k)), C 0 ( a , b , k ) = 1 N freq ( a , b , k ) × Σ l = 0 N freq ( a , b , k ) - 1 | ( a - x 0 ( l ) ) + ( b - y 0 ( l ) ) | ]]>ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>w(a,b)表示当前深度图像D"(W,H,k)中以坐标位置(a,b)为中心的邻域窗口,δ[d"(a,b,k),d"(x₁,y₁,k)]表示当前深度视频D"(W,H,k)中坐标位置为(a,b)的像素点的像素值d"(a,b,k)与当前深度视频D"(W,H,k)中坐标位置为(x₁,y₁)的像素点的像素值d"(x₁,y₁,k)的相似度值,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>x₀(l)表示w(a,b)内与中心像素点的像素值d"(a,b,k)相等的邻域像素点的横坐标,y₀(l)表示w(a,b)内与中心像素点的像素值d"(a,b,k)相等的邻域像素点的纵坐标,S_d(a,b,k)=|d"(a,b,k)-d"(x₁,y₁,k)|,Sc(a,b,k)=|c(a,b,k)-c(x₁,y₁,k)|,c(a,b,k)表示C(W,H,k)中坐标位置为(a,b)的像素点的像素值,c(x₁,y₁,k)表示C(W,H,k)中坐标位置为(x₁,y₁)的像素点的像素值,α表示深度信息权值,0≤α≤1,符号“||”为取绝对值符号,ω(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点在三边滤波时的权值,ω(a,b,k)=ω₁(a,b,k)×ω₂(a,b,k)×ω₃(a,b,k),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/> ω 2 ( a , b , k ) = exp ( - ( d 1 ( a , b , h ) - d 1 ( x , y , h ) ) 2 2 σ 2 2 ) , ]]> ω 3 ( a , b , k ) = exp ( - ( c ( a , b , k ) - c ( x , y , k ) ) 2 2 σ 3 2 ) , ]]>exp()表示以e=2.718281828为底的指数函数,d₁(a,b,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值,d₁(x,y,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值,1≤h≤Hxa0xa0,此处在“ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>”中k的具体值与h的具体值相同,c(x,y,k)表示C(W,H,k)中坐标位置为(x,y)的像素点的像素值,d′′(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点经深度恢复处理后的像素值,σ₁、σ₂、σ₃均表示尺度因子;3令k"=k+1,k=k",并将解码重建后的多视点深度视频中下一帧待处理的深度图像作为当前深度图像,然后返回步骤2继续执行,直至解码重建后的多视点深度视频中的所有深度图像处理完毕,其中,k"的初始值为0,在此k"=k+1,k=k"中的“=”为赋值符号。
2.根据权利要求1所述的一种多视点深度视频处理方法,其特征在于所述的对待处理的原始多视点深度视频进行预处理的具体过程为:A1、对待处理的原始多视点深度视频对应的原始多视点彩色视频中的每帧彩色图像进行边缘检测,得到每帧彩色图像的边界,然后对每帧彩色图像的边界进行扩展和块化,得到每帧彩色图像对应的边界掩模,其中,对应的原始多视点彩色视频中包含的彩色图像的帧数为K,对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模的分辨率均为W×H;A2、分别对原始多视点深度视频中的每帧深度图像、对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模进行重组变换操作,对应得到变换后的多视点深度视频、变换后的多视点彩色视频和变换后的边界掩模序列,其中,原始多视点深度视频中包含的深度图像的帧数为K,原始多视点深度视频中的每帧深度图像的分辨率为W×H,变换后的多视点深度视频中包含的深度图像的帧数、变换后的多视点彩色视频中包含的彩色图像和变换后的边界掩模序列中包含的边界掩模的帧数均为H,变换后的多视点深度视频中的深度图像、变换后的多视点彩色视频中的彩色图像和变换后的边界掩模序列中的边界掩模的分辨率均为W×K;A3、根据变换后的多视点深度视频中的每帧深度图像中的像素点的深度相似度值和变换后的多视点彩色视频中的每帧彩色图像中的像素点的彩色相似度值,对变换后的多视点深度视频进行平滑处理,得到平滑处理后的多视点深度视频,其中,平滑处理后的多视点深度视频中包含的深度图像的帧数为H,平滑处理后的多视点深度视频中的深度图像的分辨率为W×K;A4、对平滑处理后的多视点深度视频中的每帧深度图像进行重组逆变换操作,得到预处理后的多视点深度视频,其中,预处理后的多视点深度视频中包含的深度图像的帧数为K,预处理后的多视点深度视频中的深度图像的分辨率为W×H。
3.根据权利要求2所述的一种多视点深度视频处理方法,其特征在于所述的步骤A2的具体过程为:A2-1、依次提取出原始多视点深度视频中的每帧深度图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧深度图像中共提取出的K行像素点按照次序作为变换后的多视点深度视频中的第h帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H;A2-2、依次提取出原始多视点彩色视频中的每帧彩色图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧彩色图像中共提取出的K行像素点按照次序作为变换后的多视点彩色视频中的第h帧彩色图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H;A2-3、依次提取出边界掩模序列中的每帧边界掩模中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧边界掩模中共提取出的K行像素点按照次序作为变换后的边界掩模序列中的第h帧边界掩模中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H。
4.根据权利要求2或3所述的一种多视点深度视频处理方法,其特征在于所述的步骤A3的具体过程为:A3-1、从左到右、从上到下逐个像素扫描变换后的多视点深度视频中的每帧深度图像和变换后的多视点彩色视频中的每帧彩色图像;A3-2、计算变换后的每帧深度图像中的像素点在竖直分辨率上的深度相似度值,将变换后的第h帧深度图像中坐标位置为(x",y")的像素点在竖直分辨率上的深度相似度值记为difd(y"),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中,1≤x"≤W,1≤y"≤K,d₁(x",y′,h)表示变换后的第h帧深度图像中坐标位置为(x",y")的像素点的像素值,d₁(x",y′′,h)表示变换后的第h帧深度图像中坐标位置为(x",y′′)的像素点的像素值;计算变换后的每帧彩色图像中的像素点在竖直分辨率上的深度相似度值,将变换后的第h帧彩色图像中坐标位置为(x",y")的像素点在竖直分辨率上的彩色相似度值记为difc(y"),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中,1≤x"≤W,1≤y"≤K,c₁(x",y′,h)表示变换后的第h帧彩色图像中坐标位置为(x",y")的像素点的像素值,c₁(x",y′′,h)表示变换后的第h帧彩色图像中坐标位置为(x",y′′)的像素点的像素值;A3-3、根据变换后的边界掩模序列中的每帧边界掩模中的像素点的像素值,对变换后的多视点深度视频中的每帧深度图像中的每个像素点进行平滑处理,得到平滑处理后的多视点深度视频,将平滑处理后的多视点深度视频中的第h帧深度图像中坐标位置为(x",y")的像素点的像素值记为d₂(x",y",h),如果变换后的边界掩模序列中的第h帧边界掩模中坐标位置为(x",y")的像素点的像素值为0,并同时满足条件:T₁<difd(y′)<T₂且difc(y")>T₃,则ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="623"/>否则,d₂(x",y",h)=d₁(x",y",h),其中,T₁、T₂和T₃均为设定的阈值。
5.根据权利要求4所述的一种多视点深度视频处理方法,其特征在于所述的步骤A3-3中T₁=5,T₂=10,T₃=20。
6.根据权利要求4所述的一种多视点深度视频处理方法,其特征在于所述的步骤A4的具体过程为:依次提取出平滑处理后的多视点深度视频中的每帧深度图像中第k行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从H帧深度图像中共提取出的H行像素点按照次序作为逆变换后的多视点深度视频中的第k帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤k≤K。
7.根据权利要求1所述的一种多视点深度视频处理方法,其特征在于所述的步骤2中w(x,y)和w(a,b)的大小均为11×11;σ₁=0.5,σ₂=0.5,σ₃=0.8。
8.根据权利要求1或7所述的一种多视点深度视频处理方法,其特征在于所述的步骤2中d₁(a,b,h)和d₁(x,y,h)的获取具体过程为:依次提取出原始多视点深度视频中的每帧深度图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧深度图像中共提取出的K行像素点按照次序作为变换后的多视点深度视频中的第h帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,将变换后的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值记为d₁(a,b,h),将变换后的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值记为d₁(x,y,h),其中,1≤h≤H。技术领域
本发明涉及一种视频信号处理技术,尤其是涉及一种多视点深度视频处理方法。
背景技术
深度视频序列对应于彩色视频序列,反映的是对象物体距离相机的远近,将彩色图中的每个像素点距离相机的实际距离量化到0~255,再将这个量化值赋给彩色图中的对应位置即成为深度图。深度视频序列中亮度值越大说明该像素点位置距离相机越近,反之,说明该像素点距离相机越远。深度视频序列是由深度相机拍摄或是深度估计得到的,由于深度相机比较昂贵且存在适用范围及精度的问题,因此目前的深度视频序列一般都是由深度估计得到的。由于深度求取的不准确会导致时域抖动效应,从而降低深度的时域相关性,降低编码效率,且深度骤变也容易在虚拟视点绘制时出现空洞,造成填补困难与计算复杂度的提高,及虚拟视点生成的速度降低。目前的深度预处理往往从全局出发对深度图进行滤波,而未结合人眼的视觉感知来保护那些易被察觉的区域,因此结合人眼对深度的关注度这一理论有进一步改进的空间。另外,深度图经过H.264编码器时会引入新的噪声,且由于深度图的特殊性质,这些编码失真往往在深度的边缘区域最为明显,而边缘区域恰是虚拟视点绘制的敏感区域,因此需要深度恢复技术来还原真实的深度边界,以提高虚拟视点绘制图像的主客观质量。
发明内容
本发明所要解决的技术问题是提供一种能够有效提高虚拟视点绘制图像的主客观质量的多视点深度视频处理方法。本发明解决上述技术问题所采用的技术方案为:一种多视点深度视频处理方法,其特征在于它的处理过程为:对待处理的原始多视点深度视频进行预处理,以降低编码码率;然后对预处理后的多视点深度视频进行编码压缩、解码重建操作;再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理;最后利用处理后的多视点深度视频绘制虚拟视点视频图像;其中,对解码重建后的多视点深度视频进行深度恢复及空域平滑处理的具体过程为:1将解码重建后的多视点深度视频中当前正在处理的第k帧深度图像定义为当前深度图像,并记为D"(W,H,k),其中,1≤k≤K,在此K表示解码重建后的多视点深度视频中包含的深度图像的帧数,W表示解码重建后的多视点深度视频中的深度图像的水平分辨率,H表示解码重建后的多视点深度视频中的深度图像的竖直分辨率,W×H表示解码重建后的多视点深度视频中的深度图像的分辨率;2根据对应的原始多视点彩色视频中与当前深度图像D"(W,H,k)对应的彩色图像C(W,H,k)的边界掩膜M(W,H,k)中的每个像素点的像素值,对当前深度图像D"(W,H,k)中的像素点进行深度恢复处理,然后对当前深度图像D"(W,H,k)中经深度恢复后的每个像素点进行空域平滑处理,对于当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点,判断M(W,H,k)中坐标位置为(x,y)的像素点的像素值m(x,y,k)是否为1,即判断M(W,H,k)中坐标位置为(x,y)的像素点是否为边界像素点,如果是,则对当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点进行深度恢复处理,得到深度恢复后的像素值,记为d′′(x,y,k), d ′ ′ ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( d ′ ( a , b , k ) × C sum ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) C sum ( a , b , k ) , ]]>然后采用三边滤波对当前深度图像D"(W,H,k)中经深度恢复后的坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k), d * ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( ω ( a , b , k ) × d ′ ′ ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) ω ( a , b , k ) , ]]>否则,对当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点不进行深度恢复处理,即当前深度视频D"(W,H,k)中坐标位置为(x,y)的像素点经深度恢复处理后的像素值d′′(x,y,k)=d"(x,y,k),然后采用双边滤波对当前深度视频D"(W,H,k)中坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k), d * ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( ω 1 ( a , b , k ) × ω 2 ( a , b , k ) × d ′ ′ ( a , b , k ) ) Σ ( a , b ) ∈ ( x , y ) ( ω 1 ( a , b , k ) × ω 2 ( a , b , k ) ) , ]]>其中,1≤x≤W,1≤y≤H,w(x,y)表示当前深度图像D"(W,H,k)中以坐标位置(x,y)为中心的邻域窗口,d"(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点的像素值,C_sum(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点在深度恢复时的权值,C_sum(a,b,k)=C₀(a,b,k)×(α×S_d(a,b,k)+(1-α)×S_c(a,b,k)), C 0 ( a , b , k ) = 1 N freq ( a , b , k ) × Σ l = 0 N freq ( a , b , k ) - 1 | ( a - x 0 ( l ) ) + ( b - y 0 ( l ) ) | , ]]>ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>w(a,b)表示当前深度图像D"(W,H,k)中以坐标位置(a,b)为中心的邻域窗口,δ[d"(a,b,k),d"(x₁,y₁,k)]表示当前深度视频D"(W,H,k)中坐标位置为(a,b)的像素点的像素值d"(a,b,k)与当前深度视频D"(W,H,k)中坐标位置为(x₁,y₁)的像素点的像素值d"(x₁,y₁,k)的相似度值,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>x₀(l)表示w(a,b)内与中心像素点的像素值d"(a,b,k)相等的邻域像素点的横坐标,y₀(l)表示w(a,b)内与中心像素点的像素值d"(a,b,k)相等的邻域像素点的纵坐标,S_d(a,b,k)=|d"(a,b,k)-d"(x₁,y₁,k)|,Sc(a,b,k)=|c(a,b,k)-c(x1,y1,k)|,c(a,b,k)表示C(W,H,k)中坐标位置为(a,b)的像素点的像素值,c(x₁,y₁,k)表示C(W,H,k)中坐标位置为(x₁,y₁)的像点的像素值,α表示深度信息权值,0≤α≤1,符号“||”为取绝对值符号,ω(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点在三边滤波时的权值,ω(a,b,k)=ω₁(a,b,k)×ω₂(a,b,k)×ω₃(a,b,k),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/> ω 2 ( a , b , k ) = exp ( - d 1 ( ( a , b , h ) - d 1 ( x , y , h ) ) 2 2 σ 2 2 ) , ]]> ω 3 ( a , b , k ) = exp ( - c ( a , b , k ) - c ( x , y , k ) ) 2 2 σ 3 2 ) , ]]>exp()表示以e=2.718281828为底的指数函数,d₁(a,b,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值,d₁(x,y,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值,1≤h≤Hxa0xa0,此处在“ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>”中k的具体值与h的具体值相同,c(x,y,k)表示C(W,H,k)中坐标位置为(x,y)的像素点的像素值,d′′(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点经深度恢复处理后的像素值,σ₁、σ₂、σ₃均表示尺度因子;3令k"=k+1,k=k",并将解码重建后的多视点深度视频中下一帧待处理的深度图像作为当前深度图像,然后返回步骤2继续执行,直至解码重建后的多视点深度视频中的所有深度图像处理完毕,其中,k"的初始值为0,在此k"=k+1,k=k"中的“=”为赋值符号。所述的对待处理的原始多视点深度视频进行预处理的具体过程为:A1、对待处理的原始多视点深度视频对应的原始多视点彩色视频中的每帧彩色图像进行边缘检测,得到每帧彩色图像的边界,然后对每帧彩色图像的边界进行扩展和块化,得到每帧彩色图像对应的边界掩模,其中,对应的原始多视点彩色视频中包含的彩色图像的帧数为K,对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模的分辨率均为W×H;A2、分别对原始多视点深度视频中的每帧深度图像、对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模进行重组变换操作,对应得到变换后的多视点深度视频、变换后的多视点彩色视频和变换后的边界掩模序列,其中,原始多视点深度视频中包含的深度图像的帧数为K,原始多视点深度视频中的每帧深度图像的分辨率为W×H,变换后的多视点深度视频中包含的深度图像的帧数、变换后的多视点彩色视频中包含的彩色图像和变换后的边界掩模序列中包含的边界掩模的帧数均为H,变换后的多视点深度视频中的深度图像、变换后的多视点彩色视频中的彩色图像和变换后的边界掩模序列中的边界掩模的分辨率均为W×K;A3、根据变换后的多视点深度视频中的每帧深度图像中的像素点的深度相似度值和变换后的多视点彩色视频中的每帧彩色图像中的像素点的彩色相似度值,对变换后的多视点深度视频进行平滑处理,得到平滑处理后的多视点深度视频,其中,平滑处理后的多视点深度视频中包含的深度图像的帧数为H,平滑处理后的多视点深度视频中的深度图像的分辨率为W×K;A4、对平滑处理后的多视点深度视频中的每帧深度图像进行重组逆变换操作,得到预处理后的多视点深度视频,其中,预处理后的多视点深度视频中包含的深度图像的帧数为K,预处理后的多视点深度视频中的深度图像的分辨率为W×H。所述的步骤A2的具体过程为:A2-1、依次提取出原始多视点深度视频中的每帧深度图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧深度图像中共提取出的K行像素点按照次序作为变换后的多视点深度视频中的第h帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H;A2-2、依次提取出原始多视点彩色视频中的每帧彩色图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧彩色图像中共提取出的K行像素点按照次序作为变换后的多视点彩色视频中的第h帧彩色图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H;A2-3、依次提取出边界掩模序列中的每帧边界掩模中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧边界掩模中共提取出的K行像素点按照次序作为变换后的边界掩模序列中的第h帧边界掩模中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H。所述的步骤A3的具体过程为:A3-1、从左到右、从上到下逐个像素扫描变换后的多视点深度视频中的每帧深度图像和变换后的多视点彩色视频中的每帧彩色图像;A3-2、计算变换后的每帧深度图像中的像素点在竖直分辨率上的深度相似度值,将变换后的第h帧深度图像中坐标位置为(x",y")的像素点在竖直分辨率上的深度相似度值记为didf(y"),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中,1≤x"≤W,1≤y"≤K,d₁(x",y",h)表示变换后的第h帧深度图像中坐标位置为(x",y")的像素点的像素值,d₁(x",y′′,h)表示变换后的第h帧深度图像中坐标位置为(x",y′′)的像素点的像素值;计算变换后的每帧彩色图像中的像素点在竖直分辨率上的深度相似度值,将变换后的第h帧彩色图像中坐标位置为(x",y")的像素点在竖直分辨率上的彩色相似度值记为difc(y"),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中,1≤x"≤W,1≤y"≤K,c₁(x",y′,h)表示变换后的第h帧彩色图像中坐标位置为(x",y")的像素点的像素值,c₁(x",y′′,h)表示变换后的第h帧彩色图像中坐标位置为(x",y′′)的像素点的像素值;A3-3、根据变换后的边界掩模序列中的每帧边界掩模中的像素点的像素值,对变换后的多视点深度视频中的每帧深度图像中的每个像素点进行平滑处理,得到平滑处理后的多视点深度视频,将平滑处理后的多视点深度视频中的第h帧深度图像中坐标位置为(x",y")的像素点的像素值记为d₂(x",y",h),如果变换后的边界掩模序列中的第h帧边界掩模中坐标位置为(x",y")的像素点的像素值为0,并同时满足条件:T₁<difd(y′)<T₂且difc(y")>T₃,则ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="623"/>否则,d₂(x",y′,h)=d₁(x"y′,h),其中,T₁、T₂和T₃均为设定的阈值。所述的步骤A3-3中T₁=5,T₂=10,T₃=20。所述的步骤A4的具体过程为:依次提取出平滑处理后的多视点深度视频中的每帧深度图像中第k行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从H帧深度图像中共提取出的H行像素点按照次序作为逆变换后的多视点深度视频中的第k帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤k≤K。所述的步骤2中w(x,y)和w(a,b)的大小均为11×11;σ₁=0.5,σ₂=0.5,σ₃=0.8。所述的步骤2中d₁(a,b,h)和d₁(x,y,h)的获取具体过程为:依次提取出原始多视点深度视频中的每帧深度图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧深度图像中共提取出的K行像素点按照次序作为变换后的多视点深度视频中的第h帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,将变换后的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值记为d₁(a,b,h),将变换后的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值记为d₁(x,y,h),其中,1≤h≤H。与现有技术相比,本发明的优点在于:1)本发明方法通过对解码重建后的深度视频进行深度恢复及空域平滑处理,最后将处理后的深度视频进行虚拟视点绘制,可使得绘制得到的虚拟视点视频图像的绘制质量提高约为0.05dB。2)本发明方法首先通过对深度视频进行重组变换操作,然后将变换操作后的深度视频在时域上进行平滑处理,再对平滑处理后的深度视频进行重组逆变换操作,得到预处理后的深度视频,这种预处理方式能够提高深度视频序列的时域相关性,进而有效提高深度视频的编码效率,在编码QP=22、27、32、37的情况下,可以节省编码码率达到17.07%~38.29%。
附图说明
图1为彩色图像、彩色图像经边缘检测后得到的边界、经扩展后的边界及经块化后得到的边界掩模的变化过程示意图;图2为深度恢复及空域平滑处理的流程框图;图3a为利用bookarrival序列第7视点第0帧绘制得到的虚拟视点图像;图3b为利用bookarrival序列第8视点第0帧绘制得到的虚拟视点图像;图3c为利用bookarrival序列第9视点第0帧绘制得到的虚拟视点图像;图3d为图3a的局部放大图;图3e为图3b的局部放大图;图3f为图3c的局部放大图;图3g为利用bookarrival序列第7视点第0帧经本发明方法处理后绘制得到的虚拟视点图像;图3h为利用bookarrival序列第8视点第0帧经本发明方法处理后绘制得到的虚拟视点图像;图3i为利用bookarrival序列第9视点第0帧经本发明方法处理后绘制得到的虚拟视点图像;图3j为图3g的局部放大图;图3k为图3h的局部放大图;图3l为图3i的局部放大图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种多视点深度视频处理方法,其处理过程为:对待处理的原始多视点深度视频进行预处理,以降低编码码率;然后对预处理后的多视点深度视频进行编码压缩、解码重建操作;再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理;最后利用处理后的多视点深度视频绘制虚拟视点视频图像。在此具体实施例中,对待处理的原始多视点深度视频进行预处理的具体过程为:A1、采用现有的边缘检测算子对待处理的原始多视点深度视频对应的原始多视点彩色视频中的每帧彩色图像进行边缘检测,得到每帧彩色图像的边界,然后采用现有技术对每帧彩色图像的边界进行扩展和块化,即:将以边界像素点的坐标位置为中心的4×4邻域块内的像素点都标记为边界区域,得到每帧彩色图像对应的边界掩模,其中,对应的原始多视点彩色视频中包含的彩色图像的帧数为K,对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模的分辨率均为W×H,彩色图像的边界掩模中像素值为0的像素点是非边界像素点,彩色图像的边界掩模中像素值为1的像素点是边界像素点。在此,采用的边缘检测算子为Sobel算子;对彩色图像的边界进行块化时,块化的大小为4×4。图1给出了一幅彩色图像、该彩色图像经边缘检测后得到的边界、经扩展及块化后得到的边界掩模。A2、分别对原始多视点深度视频中的每帧深度图像、对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模进行重组变换操作,对应得到变换后的多视点深度视频、变换后的多视点彩色视频和变换后的边界掩模序列,其中,原始多视点深度视频中包含的深度图像的帧数为K,原始多视点深度视频中的每帧深度图像的分辨率为W×H,变换后的多视点深度视频中包含的深度图像的帧数、变换后的多视点彩色视频中包含的彩色图像和变换后的边界掩模序列中包含的边界掩模的帧数均为H,变换后的多视点深度视频中的深度图像、变换后的多视点彩色视频中的彩色图像和变换后的边界掩模序列中的边界掩模的分辨率均为W×K。在此,步骤A2的具体过程为:A2-1、依次提取出原始多视点深度视频中的每帧深度图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧深度图像中共提取出的K行像素点按照次序作为变换后的多视点深度视频中的第h帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H。A2-2、依次提取出原始多视点彩色视频中的每帧彩色图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧彩色图像中共提取出的K行像素点按照次序作为变换后的多视点彩色视频中的第h帧彩色图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H。A2-3、依次提取出边界掩模序列中的每帧边界掩模中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧边界掩模中共提取出的K行像素点按照次序作为变换后的边界掩模序列中的第h帧边界掩模中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤h≤H。A3、根据变换后的多视点深度视频中的每帧深度图像中的像素点的深度相似度值和变换后的多视点彩色视频中的每帧彩色图像中的像素点的彩色相似度值,对变换后的多视点深度视频进行平滑处理,得到平滑处理后的多视点深度视频,其中,平滑处理后的多视点深度视频中包含的深度图像的帧数为H,平滑处理后的多视点深度视频中的深度图像的分辨率为W×K。在此,步骤A3的具体过程为:A3-1、从左到右、从上到下逐个像素扫描变换后的多视点深度视频中的每帧深度图像和变换后的多视点彩色视频中的每帧彩色图像;A3-2、计算变换后的每帧深度图像中的像素点在竖直分辨率上的深度相似度值,将变换后的第h帧深度图像中坐标位置为(x",y")的像素点在竖直分辨率上的深度相似度值记为difd(y"),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中,1≤x"≤W,1≤y"≤K,d₁(x",y′,h)表示变换后的第h帧深度图像中坐标位置为(x",y")的像素点的像素值,d₁(x",y′′,h)表示变换后的第h帧深度图像中坐标位置为(x",y′′)的像素点的像素值;计算变换后的每帧彩色图像中的像素点在竖直分辨率上的深度相似度值,将变换后的第h帧彩色图像中坐标位置为(x",y")的像素点在竖直分辨率上的彩色相似度值记为difc(y"),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>其中,1≤x"≤W,1≤y"≤K,c₁(x",y′,h)表示变换后的第h帧彩色图像中坐标位置为(x",y")的像素点的像素值,c₁(x",y′′,h)表示变换后的第h帧彩色图像中坐标位置为(x",y′′)的像素点的像素值;A3-3、根据变换后的边界掩模序列中的每帧边界掩模中的像素点的像素值,对变换后的多视点深度视频中的每帧深度图像中的每个像素点进行平滑处理,得到平滑处理后的多视点深度视频,将平滑处理后的多视点深度视频中的第h帧深度图像中坐标位置为(x",y")的像素点的像素值记为d₂(x",y",h),如果变换后的边界掩模序列中的第h帧边界掩模中坐标位置为(x",y")的像素点的像素值为0,并同时满足条件:T₁<difd(y′)<Tx且difc(y")>T₃,则ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="623"/>否则,d₂(x",y′,h)=d₁(x"y′,h),其中,T₁、T₂和T₃均为设定的阈值,通过大量的实验验证当T₁=5、T₂=10、T₃=20时,能够取得良好的平滑处理效果。A4、对平滑处理后的多视点深度视频中的每帧深度图像进行重组逆变换操作,得到预处理后的多视点深度视频,其中,预处理后的多视点深度视频中包含的深度图像的帧数为K,预处理后的多视点深度视频中的深度图像的分辨率为W×H。在此,步骤A4的具体过程为:依次提取出平滑处理后的多视点深度视频中的每帧深度图像中第k行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从H帧深度图像中共提取出的H行像素点按照次序作为逆变换后的多视点深度视频中的第k帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,其中,1≤k≤K。在此具体实施例中,如图2所示,对解码重建后的多视点深度视频进行深度恢复及空域平滑处理的具体过程为:1将解码重建后的多视点深度视频中当前正在处理的第k帧深度图像定义为当前深度图像,并记为D"(W,H,k),其中,1≤k≤K,在此K表示解码重建后的多视点深度视频中包含的深度图像的帧数,W表示解码重建后的多视点深度视频中的深度图像的水平分辨率,H表示解码重建后的多视点深度视频中的深度图像的竖直分辨率,W×H表示解码重建后的多视点深度视频中的深度图像的分辨率。2根据对应的原始多视点彩色视频中与当前深度图像D"(W,H,k)对应的彩色图像C(W,H,k)的边界掩膜M(W,H,k)中的每个像素点的像素值,对当前深度图像D"(W,H,k)中的像素点进行深度恢复处理,然后对当前深度图像D"(W,H,k)中经深度恢复后的每个像素点进行空域平滑处理,对于当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点,判断M(W,H,k)中坐标位置为(x,y)的像素点的像素值m(x,y,k)是否为1,即判断M(W,H,k)中坐标位置为(x,y)的像素点是否为边界像素点,如果是,则对当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点进行深度恢复处理,得到深度恢复后的像素值,记为d′′(x,y,k),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>然后采用三边滤波对当前深度图像D"(W,H,k)中经深度恢复后的坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k),ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>否则,对当前深度图像D"(W,H,k)中坐标位置为(x,y)的像素点不进行深度恢复处理,即当前深度视频D"(W,H,k)中坐标位置为(x,y)的像素点经深度恢复处理后的像素值d′′(x,y,k)=d"(x,y,k),然后采用双边滤波对当前深度视频D"(W,H,k)中坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k), d * ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( ω 1 ( a , b , k ) × ω 2 ( a , b , k ) × d ′ ′ ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) ( ω 1 ( a , b , k ) × ω 2 ( a , b , k ) ) , ]]>其中,1≤x≤W,1≤y≤H,w(x,y)表示当前深度图像D"(W,H,k)中以坐标位置(x,y)为中心的邻域窗口,d"(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点的像素值,C_sum(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点在深度恢复时的权值,C_sum(a,b,k)=C₀(a,b,k)×(α×S_d(a,b,k)+(1-α)×S_c(a,b,k)), C 0 ( a , b , k ) = 1 N freq ( a , b , k ) × Σ l = 0 N freq ( a , b , k ) - 1 | ( a - x 0 ( l ) ) + ( b - y 0 ( l ) ) | ]]>ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>w(a,b)表示当前深度图像D"(W,H,k)中以坐标位置(a,b)为中心的邻域窗口,经大量实验证实当w(a,b)的大小为11×11时能够取得更好的效果,δ[d"(a,b,k),d"(x₁,y₁,k)]表示当前深度视频D"(W,H,k)中坐标位置为(a,b)的像素点的像素值d"(a,b,k)与当前深度视频D"(W,H,k)中坐标位置为(x₁,y₁)的像素点的像素值d"(x₁,y₁,k)的相似度值,ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>x₀(l)表示w(a,b)内与中心像素点的像素值d"(a,b,k)相等的邻域像素点的横坐标,y₀(l)表示w(a,b)内与中心像素点的像素值d"(a,b,k)相等的邻域像素点的纵坐标,S_d(a,b,k)=|d"(a,b,k)-d"(x₁,y₁,k)|,S_c(a,b,k)=|c(a,b,k)-c(x₁,y₁,k)|,c(a,b,k)表示C(W,H,k)中坐标位置为(a,b)的像素点的像素值,c(x₁,y₁,k)表示C(W,H,k)中坐标位置为(x₁,y₁)的像素点的像素值,α表示深度信息权值,0≤α≤1,符号“||”为取绝对值符号,ω(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点在三边滤波时的权值,ω(a,b,k)=ω₁(a,b,k)×ω₂(a,b,k)×ω₃(a,b,k), ω 1 ( a , b , k ) = exp ( - ( a - x ) 2 + ( b - y ) 2 2 σ 1 2 ) , ]]> ω 1 ( a , b , k ) = exp ( - ( d 1 ( a , b , h ) - d 1 ( x , y , h ) ) 2 2 σ 2 2 ) , ]]>ntent="drawing" img-format="tif" inline="yes" orientation="portrait" wi="700"/>exp()表示以e=2.718281828为底的指数函数,d₁(a,b,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值,d₁(x,y,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值,1≤h≤H,此处在“ ω 2 ( a , b , k ) = exp ( - ( d 1 ( a , b , h ) - d 1 ( x , y , h ) ) 2 2 σ 2 2 ) ]]>”中k的具体值与h的具体值相同,c(x,y,k)表示C(W,H,k)中坐标位置为(x,y)的像素点的像素值,d′′(a,b,k)表示当前深度图像D"(W,H,k)中坐标位置为(a,b)的像素点经深度恢复处理后的像素值,σ₁、σ₂、σ₃分别表示不同权重系数ω₁(a,b,k)、ω₂(a,b,k)、ω₃(a,b,k)的尺度因子,经大量实验证实当σ₁=0.5、σ₂=0.5、σ₃=0.8时能够取得更好的效果。在此,d₁(a,b,h)和d₁(x,y,h)的获取具体过程为:依次提取出原始多视点深度视频中的每帧深度图像中第h行的W个像素点的亮度分量Y、第一色度分量U和第二色度分量V,然后把从K帧深度图像中共提取出的K行像素点按照次序作为变换后的多视点深度视频中的第h帧深度图像中的像素点的亮度分量Y、第一色度分量U和第二色度分量V,将变换后的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值记为d₁(a,b,h),将变换后的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值记为d₁(x,y,h),其中,1≤h≤H。3令k"=k+1,k=k",并将解码重建后的多视点深度视频中下一帧待处理的深度图像作为当前深度图像,然后返回步骤2继续执行,直至解码重建后的多视点深度视频中的所有深度图像处理完毕,其中,k"的初始值为0,在此k"=k+1,k=k"中的“=”为赋值符号。为验证本发明方法的有效性和可行性,选取了HHI提供的Doorxa0Flower、BookArrival、Leavexa0Laptop测试序列,包括彩色视频和深度视频。在此从深度视频序列的压缩效率和绘制图像的质量来衡量本发明方法的性能。在深度视频序列的编码阶段,本发明方法能在QP=22、27、32、37的情况下节约17.07%~38.29%的码率,表1给出了Doorxa0Flower、Bookxa0Arrival、Leavexa0Laptop测试序列的原始深度视频及经过本发明预处理后的深度视频在相同条件下的编码码率的对比。由于本发明的预处理方法增强了深度视频序列在时域上的相关性,因此能够有效的减少编码码率,同时将重建后的深度视频序列与原始深度视频序列对比,峰值信噪比PSNR差异约为0.29dB~1.44dB,如表2所列。同时利用本发明方法处理后的深度视频序列经过虚拟视点绘制后,绘制质量与利用原始深度视频编码后的深度视频序列相比,质量提高了约为0.05dB,如表3所列。图3a、图3b和图3c分别给出了利用bookarrival序列第7视点第0帧、bookarrival序列第8视点第0帧和bookarrival序列第9视点第0帧绘制得到的虚拟视点图像,图3d、图3e和图3f分别一一对应为图3a、图3b和图3c的局部放大图;图3g、图3h和图3i分别给出了利用bookarrival序列第7视点第0帧、bookarrival序列第8视点第0帧和bookarrival序列第9视点第0帧经本发明方法处理后绘制得到的虚拟视点图像,图3j、图3k和图3l分别一一对应为图3g、图3h和图3i的局部放大图,通过对比绘制结果的局部放大图,即对比图3d与图3j、图3e与图3k、图3f与图3l,可以发现在物体对象的边界区域,经过本发明方法处理后的绘制效果有一定提高,没有呈现出未处理时的图像断裂、扭曲等问题,虚拟视点图像的主观质量有所提高。表1原始深度视频序列和经本发明预处理后的深度视频序列的编码码率比较ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>表2原始深度视频序列和经本发明预处理后再重建的深度视频序列的质量比ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>表3虚拟视点图像绘制质量比较(dB)ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>